Simulation Neuronaler Netze (SNNS)

Bei den meisten Arbeiten des Lehrstuhls zur Simulation künstlicher neuronaler Netze wird der Stuttgarter Neuronale Netze Simulator (SNNS), der von einem Team des Lehrstuhlinhabers an der Univ. Stuttgart entwickelt worden war, eingesetzt.

SNNS ist ein leistungsfähiger universeller Simulator neuronaler Netze für Unix Workstations und Unix-PCs. Er besteht aus einem Simulatorkern, der aus Effizienz- und Portabilitätsgründen in ANSI C geschrieben ist, einer graphischen Benutzerschnittstelle unter X11R6, einem Netzwerk-Compiler, der aus trainierten Netzen ANSI C-Programme generieren kann, einer Batch-Version des Simulators sowie diversen Analyse- und Zusatzwerkzeugen.

SNNS user interface with toy letter recognition network

Folgende Lernverfahren sind derzeit in SNNS implementiert:

  1. Standard Backpropagation (BP)
  2. Enhanced Backpropagation mit Momentum-Term und "flat spot elimination"
  3. Batch Backpropagation
  4. Backpropagation mit Weight-Decay
  5. Quickprop
  6. Resilient Progagation (Rprop)
  7. Backpercolation
  8. Counterpropagation (ohne Nachbarschaftsbeziehung in der Kohonen-Schicht)
  9. Dynamische Lernende Vektorquantisierung (DLVQ)
  10. Backpropagation Through Time (BPTT)
  11. Batch Backpropagation Through Time (BBPTT)
  12. Quickprop Through Time (QPTT)
  13. Cascade Correlation (CC) mit eingebettetem Backpropagation, Quickprop oder Rprop
  14. Recurrent Cascade Correlation (RCC)
  15. Time-Delay-Networks (TDNN)
  16. Radial Basis Functions (RBF)
  17. Radial Basis Functions mit Dynamic Decay Adjustment (RBF-DDA)
  18. Adaptive Resonance Theory 1 (ART1)
  19. Adaptive Resonance Theory 2 (ART2)
  20. ARTMAP Netzwerk
  21. Selbstorganisierende Karten (Kohonen-Karten, SOM)
  22. Autoassoziative Netzwerke mit Hebbschem Lernen oder Delta-Regel
  23. Jordan-Netze
  24. Elman-Netze und erweiterte hierarchische Elman-Netze
  25. Monte-Carlo
  26. Simulated Annealing

Eine Reihe von Pruning-Verfahren können Gewichte oder Neuronen eines Netzwerks reduzieren, um durch eine geringere Zahl freier Parameter eine Erhöhung der Generalisierungsleistung zu erhalten:

  1. Magnitude Based Pruning (Mag)
  2. Optimal Brain Damage (OBD)
  3. Optimal Brain Surgeon (OBS)
  4. Skeletonization (Skel)
  5. Non-contributing Units
Bei den Verfahren können sowohl Eingabeneuronen als auch verdeckte Neuronen, oder beides gleichzeitig, reduziert werden.

Zuletzt ist mit dem in SNNS integrierten Werkzeug ENZO der Univ. Karlsruhe auch eine Topologieoptimierung neuronaler Netze mit Hilfe genetischer Algorithmen nöglich. 


 Zurück
 
 Lehrstuhl
 
 Fakultät
 
 Universität

Letzte Änderung: Wed Jul 23 09:49:35 MST 1997